혼동 행렬, Confusion Matrix(CM)

• True Positive(TP): Positive로 대답한 것이 정답과 일치
• True Negative(TN): Negative로 대답한 것이 정답과 일치
• False Positive(FP): Positive로 대답한 것이 정답과 불일치
• False Negative(FN): Negative로 대답한 것이 정답과 불일치

False Positive는 Hypothesis의 1종 오류, False Negative는 2종 오류가 된다.

Metric

---

Recall

---

재현도, 민감도, Sensitivity : 모든 실제 True 중에, True 비율.

$$Recall=\frac{TP}{TP+FN}$$

실제 actual True 중에, 얼마나 민감하게 True라고 판단 했는가?

하지만, 단순히 Positive로 많이 예측한다면 recall이 상승한다. 즉, FP를 제대로 반영하지 못하는 것이다. Precision과 trade-off 관계에 있다.

Specificity

---

실제 Negative 중에서, 모델이 제대로 Negative라 판단한 비율.

$$\text{specificity}=\frac{\text{TN}}{\text{FP}+\text{TN}}$$

동일하게, Negative로 많이 예측한다면 Specificity가 높아지게 된다.

Precision

---

모델이 True라 예측한 것 중에, 실제 True의 비율.

$$Precision=\frac{TP}{TP+FP}$$

하지만, 실제 positive인 것 중, 아주 일부만 Positive라 판단한다면 $FP$가 줄어들게 되어 precision이 상승한다. 이와 반대로 recall을 하락하게 된다. 이 경우는 FN을 제대로 반영하지 못하는 상태이다.

F1 score(F1)

---

Recall와 Precision의 Harmonic mean

$$f1score=2\frac{Precision\times Recall}{Precision+Recall}$$

Why Hormonic mean?

---

Harmonic mean은 둘 중 하나가 낮으면 그 값이 급격하게 감소하는 특징을 가진다. precision과 recall이 모두 높아야 하므로, 이를 반영하기 위해 Harmonic mean인 F1을 이용한다.

Accuracy

---

전체에서 참의 비율. Error rate = 1 - Accuracy

$$Accuracy=\frac{TP+TN}{TP+FN+FP+TN}$$